A Nvidia lançou dois novos modelos grandes de linguagem de código aberto, Nemotron-4-Minitron-4B e Nemotron-4-Minitron-8B, que utilizam poda estruturada e destilação do conhecimento para treinar modelos de forma eficiente, reduzindo significativamente as necessidades de treinamento, dados e poder computacional. Em comparação com os métodos tradicionais, os novos modelos reduzem os dados de tokens de treinamento em 40 vezes e o custo computacional em 1,8 vezes. Através da otimização do Llama-3.18B, a poda estruturada simplifica a estrutura do modelo, enquanto a destilação do conhecimento melhora o desempenho, Minitron

A tecnologia T-MAC (Table-Lookup-based MAC) visa resolver os problemas de memória e restrições de computação na implantação de modelos de linguagem grandes (LLMs) em dispositivos de borda. Ao quantificar os pesos do modelo para representações de baixo bit, o T-MAC utiliza tabelas de pesquisa (LUTs) para substituir operações de multiplicação tradicionais, melhorando significativamente a eficiência de execução em CPUs. Este método reduz drasticamente a memória necessária para a computação, permitindo que LLMs com bilhões de parâmetros sejam executados de forma eficiente em dispositivos com recursos limitados, possibilitando upgrades inteligentes. Em comparação com as implementações existentes, o T-